Хотя мы визуализируем данные как двумерные сетки для удобства математических вычислений, аппаратное обеспечение видит только непрерывный одномерный поток байтов. Понимание этой «линейной реальности» — необходимое условие для реализации построчных паттернов редукции—например, поиск максимального значения или суммы экспонент.

1. Принцип «линейного разворачивания»

Каждый многомерный тензор физически хранится последовательно. Чтобы реализовать $\text{softmax}(x_i) = \frac{e^{x_i}}{\sum_j e^{x_j}}$, необходимо определить линейный сегмент, представляющий строку, и выполнить обход для вычисления максимума и суммы.

2. Числовая устойчивость

Почему требуется стабилизация softmax? Высокие входные значения приводят к взрыву $e^{x}$. Мы стабилизируем это выражение: $$\text{exp}(x_i - \text{max}(x))$$. Это заставляет разработчика ядра выполнить двухпроходную линейную редукцию (сначала максимум, затем сумма) перед финальной нормализацией.

3. Проверка с помощью коротких строк

При разработке ядер Triton мы используем тестирование только коротких строк (например, ширина 16), чтобы убедиться, что наша линейная арифметика указателей корректно захватывает каждый элемент до масштабирования до рабочих нагрузок производственного уровня.